Ông tên thật là Nguyễn Văn Huyên, sinh ngày 4 tháng 5 năm 1918, quê ở xã Nhân Thắng, huyện Gia Bình, tỉnh Bắc Ninh.

Ngay từ năm 1938, ông tham gia phong trào dân chủ Đông Dương, chống chính quyền thực dân Pháp, từ đó chịu ảnh hưởng của những người Cộng sản. Khi Chính phủ Mặt trận Bình dân ở Pháp đổ, chính quyền thực dân đàn áp phong trào dân chủ và những người Cộng sản. Ông được bí mật kết nạp vào Đảng Cộng sản Đông Dương tháng 5 năm 1939.

Khi hoạt động bí mật, ông lấy các bí danh Giáo, Bình để hoạt động. Tháng 5 năm 1940, ông được phân công làm Thành ủy viên Thành ủy Hải Phòng. Đến tháng 9 năm đó, ông bị lộ, bị chính quyền thực dân bắt và giam giữ tại các nhà tù Sơn La, Hòa Bình, Hỏa Lò.

Ngày 9 tháng 3 năm 1945, quân Nhật đảo chính Pháp trên toàn cõi Đông Dương. Ông vượt ngục ở nhà tù Hỏa Lò về hoạt động ở vùng Bắc Giang, Thái Nguyên, được tổ chức giao cho công tác phụ trách đội du kích, phụ trách lớp huấn luyện cán bộ cấp huyện của hai tỉnh Bắc Ninh, Bắc Giang, và được điều về tham gia Tỉnh ủy Bắc Giang, tham gia Ban Thường vụ Tỉnh ủy Bắc Giang, trực tiếp phụ trách phong trào Việt Minh ở các huyện Lục Nam, Lục Ngạn, Sơn Động, Hữu Lũng, Lạng Giang, tham lãnh đạo khởi nghĩa cướp chính quyền ở Bắc Giang.[1]

Cách mạng tháng 8 thành công, ông được phân công giữ chức Chủ tịch Ủy ban nhân dân Cách mạng lâm thời tỉnh Bắc Giang (sau đó đổi tên thành Ủy ban Hành chính tỉnh Bắc Giang).

Tháng 10 năm 1946, ông được cử làm đại diện Ủy ban Hành chính khu Bắc Bộ tại Khu XII, kiêm Ủy viên hành chính trong Ủy ban Kháng chiến hành chính Khu XII.

Khi thực dân Pháp nổ súng tái chiếm Đông Dương, tháng 6 năm 1947, ông được cử giữ chức Khu ủy viên Khu XII.